U-120 đã đảm nhiệm vai trò tàu huấn luyện tại các trường tàu ngầm Đức trong suốt Thế Chiến II, và không tham gia bất kỳ hoạt động tác chiến nào. Nó lần lượt phục vụ cùng Chi hạm đội trường U-boat cho đến tháng 6, 1940, chuyển sang Chi hạm đội U-boat 21 cho đến tháng 3, 1945, và cuối cùng thuộc về Chi hạm đội U-boat 31.[1]

Khi chiến tranh đi vào giai đoạn kết thúc, theo dự định của kế hoạch Regenbogen, U-120 bị đánh đắm tại Bremerhaven vào ngày 5 tháng 5, 1945 để tránh lọt vào tay lực lượng Đồng Minh.[1] Xác tàu đắm được trục vớt và tháo dỡ vào năm 1950.[1]

Nhiều nguồn đã thông tin nhầm rằng U-120 bị đắm do một sự cố nhà vệ sinh. Chiếc tàu ngầm thực sự có liên quan là chiếc U-1206.[Ghi chú 1]